AsyncWebRL: Efficient Multi-Step RL for Visual Web Agents
AsyncWebRL: 视觉 Web Agent 的高效异步多步强化学习
🧭 视觉 Web Agent 多步 RL 训练优化 ★ 深度解读
UIUC · Microsoft · CMU
异步系统 + 去除轨迹步数归一化，实现视觉 Web Agent 训练 2.9× 加速且 OOD 准确率新高
📌 工作参考价值（4 点）
- 异步 RL 系统设计可照搬：长存 rollout 池（Everlasting Rollout Pool）让浏览器会话跨迭代持续存活，消除每轮重建开销；轻量截图处理（Lightweight Screenshot Handling）把图片留在专用 Actor 中，仅传引用，避免 RPC 对象存储因高并发图片序列化而写盘，这对电商中的多步视觉 Agent（如商品详情页浏览）有直接参考价值。
- GRPO 的长度归一化陷阱：多步 GRPO 中按轨迹步数归一化 1/|τ_i| 会使失败长轨迹的梯度衰减，策略倾向于生成冗长记忆填充，在电商 Agent 训练中可能导致类似「记流水账」行为；改为常数 1/k（k 设为 Easy 难度 horizon）可恢复对失败样本的完整惩罚，压缩不必要的输出 token。
- 解耦重要性采样（Decoupled PPO）：将 πθ/πbehave 拆成 πprox/πbehave（无 clip）和 πθ/πprox（有 clip），clip 率减半，训练奖励提升更快，适合任何异步 RL 训练中的 off-policy 校正。
- DAPO 式动态采样与 bandit-like 优势共享：每个 task 采样 16 个 rollout，跳过全成功/全失败组，再用组内均值归一化轨迹优势，在稀疏奖励的电商任务中也能稳定获得对比信号。